什么是神经网络？

将各单独节点当成自己的线性回归模型，其中组合了输入数据、权重、偏差（或阈值）和输出。 该公式与以下类似：

∑wixi + bias = w1x1 + w2x2 + w3x3 + bias

output = f(x) = 1 if ∑w1x1 + b>= 0; 0 if ∑w1x1 + b < 0

确定输入层后，即可分配权重。 这些权重可帮助确定任何指定变量的重要性，权重较大的输入相对于其他输入来说，对输出的影响更加显著。 之后，将所有输入乘以各自的权重，然后相加。 接着，将通过激活函数传递输出，该函数决定了输出。 如果输出超过给定阈值，则“触发”（或激活）节点，并将数据传递到网络中的下一层。 这样，一个节点的输出就变成了下一个节点的输入。 将数据从一层传递至下一层的这一过程可将此神经网络定义为前馈网络。

我们利用二进制值来解析单个节点的外观。 我们可以将此概念应用于更加实际的示例，例如您是否应该去冲浪（是：1，否：0）。 去还是不去的决策便是我们的预测结果，或者说是预测的 y 值。 我们假设有三个因素影响您的决策：

然后，我们假设以下内容作为输入：

现在，我们需要分配一些权重来确定重要性。 较大的权重表示特定变量对决策或结果较为重要。

最后，我们还假设一个阈值 3，这将转换为偏差值 -3。 所有输入到位后，我们可以开始将值插入公式以得出期望输出。

Y-hat = (1*5) + (0*2) + (1*4) – 3 = 6

如果我们从本节开始使用激活函数，那么可以确定此节点的输出为 1，因为 6 大于 0。 在此实例中，您会去冲浪；但如果我们调整权重或阈值，可以从模型中得出不同的结果。 当我们观察一个决策时，比如在上述示例中，我们可以看到，神经网络制定日益复杂的决策的方式取决于之前决策或之前层的输出。

在上述示例中，我们使用感知器来说明一些数学运算，但神经网络利用 sigmoid 神经元，该神经元的取值为 0 和 1。 由于神经网络的行为类似于决策树，将数据从一个节点级联到另一个，因此 x 值取 0 和 1 将减少单个变量的任何指定更改对任何指定节点输出的影响，并因此减少对神经网络输出的影响。

我们开始思考神经网络的更实际用例时，比如图像识别或分类，我们将利用监督学习或标记的数据集来训练算法。 我们训练模型时，会想要通过成本（或损失）函数来评估其精度。 这通常也称为均方误差 (MSE)。 在以下方程中，

= =1/2 ∑129_(=1)^▒( ̂^(() )−^(() ) )^2

最终，目标是最大程度减小成本函数，确保任何制定观察的正确拟合。 由于模型会调整其权重和偏差，因此它将使用成本函数和强化学习来达到收敛点或局部最小值。 算法调整其权重的过程采用了梯度下降方法，允许模型确定减少错误（或最小化成本函数）所采取的方向。 在每个训练示例中，模型参数都会进行调整，以逐步收敛至最小值。  

阅读此篇 IBM 开发人员文章，其中较为深入地解释了神经网络中涉及的定量概念。

最深度的神经网络是前馈，意味着它们仅流入一个方向，即从输入到输出。 但是，您也可以通过反向传播训练模型；也就是说，从输出到输入反向移动。 反向传播让我们能够计算和归因与每个神经元关联的错误，并相应地调整和拟合模型的参数。